先规划还是先检索?大规模工具发现架构对比研究
🧭 Agent 工具发现架构对比与自适应路由 ★ 深度解读
Apple
在50k API规模下系统对比Retrieve-then-Plan与Plan-then-Retrieve,发现单工具查询RtP占优、多工具查询PtR占优的复杂度交叉
📌 工作参考价值(4 点)
- 复杂度自适应路由:用RtP的top-1检索相似度作为零成本路由信号,高相似度(查询直接包含API名/品牌名)走RtP,低相似度(抽象多步骤意图)走PtR,可节省约36%的discovery调用开销且无检索质量损失。
- 多意图查询分解:在电商/Agent场景中,对于“连衣裙+高跟鞋+包包”这类多面意图query,可以让LLM先生成多个Abstract Tool Stubs(或子意图桩),每个桩独立检索再合并,优于单embedding直接检索。
- Stub hallucination双刃剑管理:简单query包含明确的专有名词或品牌时,不要抽象成generic stub,否则丢失强匹配信号;复杂query则可以利用stub的分解能力。工程上可对stub生成加入专有名词保留策略。
- 检索是Agent行为的上界:实验显示planner轨迹保真度≥96%,即planner几乎只从检索结果中选择tools,所以优化检索架构比优化planner prompt更关键。在大规模工具注册表下应优先投入检索质量。
ANTMAN:大信息空间多智能体导航的自适应需求追踪
🧭 多智能体协作 · 需求图驱动 ★ 深度解读
University of Illinois Urbana-Champaign
用可修订的未解决需求图替代静态分区,使多智能体协调随查询需求而非信息空间规模增长
📌 工作参考价值(4 点)
- 在电商搜索/推荐中,把用户 query 或会话意图建模为可修订需求图(如类目偏好、属性约束、缺失证据、候选商品集),用该图动态调度召回、排序、解释或 Agent 调用;避免按商品池/内容池大小固定切分 worker,使计算随需求复杂度而非目录规模增长。
- 借鉴 territory + WorkerCard + 两阶段路由:将商品库/内容库/代码库等 substrate 静态划分为 scope-specialized 的 territory,先用轻量检索(稀疏+精确+稠密+RRF)召回少量 WorkerCard,再由 orchestrator 决定是否派遣;比所有 agent 全量参与更省 token,且可跨业务 substrate 复用。
- 每个需求节点显式记录 evidence、attempts、progress,当某条寻证/检索路径 stalled 时,优先做局部 reframe/reroute/fallback,而不是重新规划整个查询;在电商 Agent 场景可减少长流程失败后的整体重试代价。
- 需求驱动的局部搜索规避了超长商品列表/长上下文 prompt 里 lost in the middle 问题;在 push/推荐理由生成或大候选集重排时,可采用类似按需分段检索策略。成本敏感场景还可用小模型做 worker 执行(ANTMAN-H 用 8B worker 保留超过 89% 性能),保留 orchestrator 用大模型。
自适应记忆与反思多智能体系统用于医学问答
🧭 多智能体协作与记忆反思机制
提出医学问答多智能体框架,通过智能体专属记忆、反思反馈与复杂度路由提升答案质量
📌 工作参考价值(4 点)
- 复杂度评估与工作流路由:电商/搜索推荐中可参考“复杂度评估器”,根据用户 query 或上下文难度,将任务路由到 solo、collaborative 或 escalated 工作流——简单查询走轻量单智能体,复杂需求触发多智能体协作或人工升级,平衡效果与成本。
- 智能体专属记忆与反思:为不同智能体(如意图识别、商品召回、排序、文案生成)维护独立记忆和反思缓存,记录历史失败案例与反馈,让后续推理更少犯同类错误;这与用户长期偏好记忆类似,但更强调任务级错误纠正。
- 共识与伦理监督模块:在生成推荐理由、广告文案或客服回答时,引入多个智能体输出共识和合规审查,能减少事实性错误、品牌风险,尤其适用于医疗、金融等需要强监管的场景;电商大促文案也可以借鉴此类多角度审核。
- 外部检索与记忆结合:AMR 将外部 RAG 与历史对话/案例记忆有效结合,对电商问答或生成式推荐有借鉴意义——既要有实时商品知识检索,也要沉淀用户交互记忆与反思,提升生成稳定性和个性化。
层退出融合增强紧凑 LLM 的判别式序列推荐
🧭 判别式 LLM 推荐 · 层退出动态融合 ★ 深度解读
The University of Queensland · Griffith University · Edith Cowan University · University of Notre Dame
在判别式 LLM 推荐中引入多层预测出口与连续路由器,以紧凑模型实现全库排序并逼近大模型精度
📌 工作参考价值(4 点)
- 判别式 LLM 排序范式可直接用于召回/粗排全库打分:用预训练 SASRec ID embedding 投影进 LLM,取 response token 表示做 softmax,避免自回归解码,单用户推理 6-9ms,适合线上候选集大但算力受限的场景。
- 多层 exit 融合是补偿小模型的有效 trick:在 compact LLM 每层后接预测头,融合不同深度分数,实验在 Toys/Beauty/Yelp 上以 1.7B/3B 模型超过部分 4B/8B E4SRec,说明深度集成可替代盲目上大模型。
- 连续 ReLU 路由 + target-k hinge loss 可按用户序列复杂度动态选择 1~k 个 exit,避免固定 top-k 对简单序列浪费、复杂序列不足;该路由仅需训练一个投影矩阵,无额外参数,便于线上轻量自适应推理。
- 三阶段冻结训练允许共享同一 backbone 训练多个不同 target-k 的路由器,用于不同设备算力预算(GPU/CPU/边缘),对电商多端部署有直接参考价值;Z-loss 和 load balancing 可保证混合精度训练稳定。
驾驭记忆:记忆智能体中记忆基质的整体评估
🧭 Agent 记忆基质评测与自适应路由
University of Illinois Chicago · University of Washington · McGill University · MBZUAI · University of California, Los Angeles
统一评测多种记忆基质,发现无单一最优,需按任务类型与历史长度做自适应路由
📌 工作参考价值(4 点)
- 记忆基质选型不是检索越强越好:在事实性 QA(如客服问答、商品知识库)中,dense/sparse 广泛检索有增益;但在多步决策(如导购 Agent、谈判流程)中,过度检索会挤占动作关键上下文,建议控制检索数量或设置相关性阈值。
- 长历史下中等长度表现好的基质可能成本激增或变脆:用户长期偏好存储不宜直接套用现有结构,需设计分层、压缩、refinement 机制,或按会话长度、任务类型动态路由到不同存储介质。
- 评测要同时看效率与任务指标:在自己的 Agent 评测 harness 中加入 memory 读写的 token 成本、延迟、检索命中率等,避免只优化下游准确率而忽略工程可行性。
- 把 memory substrate 抽象为可替换组件并统一接口,方便在推荐对话、个性化搜索等场景中快速对比 dense/sparse/structural/parametric 等不同存储方案。
不确信用专家,自信就省:MoE-LoRA 置信度自适应路由
🧭 MoE-LoRA 置信度自适应路由
University of California, Irvine · University of Washington
利用路由器分布作为 token 置信度信号,动态分配专家数量,在匹配预算下提升 MoE-LoRA 性能
📌 工作参考价值(4 点)
- 在电商推荐模型的 LoRA/MoE-LoRA 微调中,可直接用路由器分布替代额外置信度模块,实现 token/representation 的动态专家分配,节省推理成本。
- 推荐系统在线服务的 PEFT 适配:设置预算恒温器(budget thermostat)自动校准阈值,使平均激活专家数恒定,便于工程实现尾部延迟控制。
- 对用户/物品 Embedding 的 MoE 计算,可借鉴“分歧扩展”机制:当激活专家输出不一致时追加专家,提升困难样本质量。
- OOD 检测可复用相同的置信度与分歧信号,无需额外模型,为推荐系统的安全性、时效性监控提供低成本方案。